/*******************************************************************************
 * Package: com.hadoop
 * Type:    WordCountCombiner
 * Date:    2024-05-15 10:41
 *
 * Copyright (c) 2024 LTD All Rights Reserved.
 *
 * You may not use this file except in compliance with the License.
 *******************************************************************************/
package com.hadoop.mr;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * 功能描述：
 * https://blog.csdn.net/weixin_43893397/article/details/103151757
 * 为什么要用Combiner:
 *每一个map 都有可能会产生大量的本地输出,Combiner的作用就是对map端的输出先做一次合并,以减少map和reduce节点之间的数据传输量,以提高网络IO性能,是MapReduce的一种优化手段之一.
 * Combiner 是 MR程序中 mapper 和Reduce 之外的一种组件
 * Combinner 组件的父类就是Reducer
 * Combinner和Reduce的区别在于运行的位置
 * Combinner是在每一个maptask所在的节点运行Reducer 是接受全局所有mapper的输出结果
 * Combinner的意义就是对每一个maptask的输出进行局部汇总,以减少网络传输量
 * 使用：
 * 1.自定义一个Combiner 继承 reduce 重写reduce方法
 * 2.在 job 中设置:job.setCombinerClass(Combiner类.class)
 * @author Songxianyang
 * @date 2024-05-15 10:41
 */
public class WordCountCombiner extends Reducer<Text, IntWritable,Text, IntWritable> {
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        // 定义变量
        int count = 0;
        // 循环map 给过来的这个<1,1,1,1>结构
        for (IntWritable value : values) {
            //个数
            count= value.get()+count;
        }
        // 写入上下文
        context.write(key,new IntWritable(count));
        System.out.println("---------Combiner--------");
        System.out.println(key+":Combiner:"+count);
    }
}
